# 사전 학습 (Pre-training)

## 개요
사전 학습(Pre-training)은 인공지능, 특히 딥러닝 모델 개발 파이프라인에서 가장 초기이자 핵심적인 단계로, 방대한 양의 일반 데이터셋을 활용하여 모델이 세계에 대한 기본적인 지식과 패턴을 학습시키는 과정입니다. 이 단계에서 훈련된 모델은 특정 작업에 최적화되지 않은 '기반 모델(Foundation Model)' 상태로 남아 있으며, 이후 미세 조정(Fine-tuning)이나 지시 따르기(Instruct tuning)를 통해 구체적인 임무 수행 능력을 갖추게 됩니다. 대규모 언어 모델(LLM) 시대에 이르러 사전 학습의 중요성은 더욱 부각되었으며, 고품질 데이터 확보와 컴퓨팅 자원 효율화가 산업 경쟁력의 핵심 축으로 자리 잡았습니다.

## 핵심 개념과 원리
### 자기지도학습과 비지도학습
사전 학습은 주로 레이블이 붙지 않은 대량 데이터를 대상으로 수행됩니다. 지도학습(Supervised Learning)과 달리 정답 표기가 없으므로, 모델은 데이터 자체의 구조적 특성을 활용하여 스스로 학습 목표를 설정합니다. 이를 **자기지도학습(Self-supervised Learning)** 이라고 하며, 대표적인 예로 문장의 다음 단어를 예측하는 언어 모델링이나 이미지에서 일부 영역을 가려두고 복원하는 작업이 있습니다. 이러한 방식은 방대한 비정제 데이터의 잠재력을 극대화하면서도 수동 라벨링 비용을 절감할 수 있게 해줍니다.

### 표현 학습 (Representation Learning)
사전 학습의 본질은 **표현 학습**에 있습니다. 모델은 입력 데이터를 저차원 벡터(임베딩)로 변환하며, 의미적 유사성이나 문법적 구조, 인과 관계 등을 내재된 공간에 매핑합니다. 예를 들어, 자연어 처리에서 '왕'과 '여왕', '남자'와 '여자' 간의 관계를 수학적으로 추출하거나, 컴퓨터 비전에서 객체의 경계와 질감을 인식하는 방식이 이에 해당합니다. 이렇게 학습된 표현은 다양한 하위 작업으로 전이(Transfer Learning)될 때 높은 효율성을 발휘합니다.

## 주요 단계와 프로세스
### 데이터 수집 및 전처리
고품질 사전 학습의 성패는 데이터에 크게 좌우됩니다. 웹 크롤링, 공개 문서, 코드 저장소, 학술 논문 등 다양한 출처에서 데이터를 수집한 후, 노이즈 제거, 중복 삭제, 언어 필터링, 토큰화(Tokenization) 등의 전처리 과정을 거칩니다. 최근에는 데이터의 다양성과 편향(Bias) 관리가 모델의 안전성과 일반화 성능에 직접적인 영향을 미치므로, 체계적인 데이터 파이프라인 구축이 필수적입니다.

### 모델 아키텍처 선택
사전 학습용 모델은 주로 **트랜스포머(Transformer)** 기반 아키텍처를 채택합니다. 어텐션 메커니즘(Attention Mechanism)을 통해 긴 시퀀스의 전역적 의존성을 효과적으로 포착할 수 있으며, 병렬 처리에 최적화되어 대규모 데이터 학습에 적합합니다. 모델의 규모는 파라미터 수, 레이어 깊이, 히든 차원 등으로 결정되며, 일반적으로 '스케일링 법칙(Scaling Laws)'에 따라 데이터 양과 연산량이 증가할수록 성능이 예측 가능하게 향상되는 경향이 있습니다.

### 훈련 과정과 최적화
사전 학습은 수주에서 수개월에 걸쳐 수행되며, 수천 개의 GPU/TPU 클러스터가 동원됩니다. 손실 함수(Loss Function)로는 일반적으로 다음 토큰 예측을 위한 교차 엔트로피(Cross-Entropy)가 사용되며, 옵티마이저(예: AdamW), 학습률 스케줄링, 혼합 정밀도 훈련(Mixed Precision Training) 등의 기법이 적용되어 안정적이고 효율적인 수렴을 돕습니다. 또한 과적합 방지와 메모리 최적화를 위해 그래디언트 클리핑, 체크포인트 저장, 분산 훈련 전략이 필수적으로 활용됩니다.

## 파인튜닝과의 관계
사전 학습으로 얻은 가중치는 특정 도메인이나 작업에 맞춰 조정되는 **파인튜닝(Fine-tuning)** 의 출발점이 됩니다. 파인튜닝은 상대적으로 작은 데이터셋과 적은 연산량으로 모델의 전문성을 높이는 과정이며, 사전 학습 단계에서 형성된 일반적 표현을 활용하므로 높은 샘플 효율성을 보입니다. 최근에는 사후 학습(Post-training) 단계에 지시 따르기 데이터나 인간 피드백 기반 강화학습(RLHF)이 결합되며, 모델의 안전성과 실용성이 크게 향상되고 있습니다.

## 주요 과제와 한계
- **컴퓨팅 비용:** 수천억 파라미터 규모의 모델을 훈련하려면 막대한 전기 요금과 하드웨어 인프라가 필요합니다.
- **데이터 품질 및 편향:** 학습 데이터에 포함된 사회적 편견, 허위 정보, 저작권 문제는 모델 출력의 신뢰성과 윤리적 문제를 야기합니다.
- **검증 및 해석 가능성:** 내부 표현이 어떻게 의미로 연결되는지 완전히 규명하기 어려우며, 환각(Hallucination) 현상 제어가 여전히 과제로 남아 있습니다.

## 참고 자료 및 관련 문서
- 대규모 언어 모델 (LLM)
- 미세 조정 (Fine-tuning)
- 트랜스포머 아키텍처
- 스케일링 법칙 (Scaling Laws)
- 자기지도학습 (Self-supervised Learning)